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Cuando nuestras computadoras se vuelven mas inteligentes que nosotros 



Yo trabajo con un grupo de matematicos, filosofos y cientfficos informaticos, y nos juntamos 
para pensar en el futuro de la inteligencia artificial, entre otras cosas. Algunos piensan que estas 
cosas son una especie de ciencia ficcion alocadas y alejadas de la verdad. Pero bueno, me gusta 
sugerir que analicemos la condicion humana modema. Asf es como tienen que ser las cosas. 

Pero si lo pensamos, en realidad acabamos de llegar a este planeta, nosotros, la especie humana. 
Piensen que si la Tierra hubiera sido creada hace un ano, entonces la raza humana solo tendrfa 
10 minutos de edad y la era industrial habria empezado hace dos segundos. Otra forma de abordar 
esto es pensar en el PIB mundial en los ultimos 10 000 anos, y de hecho, me he tornado la 
molestia de representarlo en un grafico para Uds. Se ve asf. Tiene una forma curiosa para ser 
normal. Y seguro que no me gustarfa sentarme en ella. 

Preguntemonos ^cual es la causa de esta anomalfa actual? Algunas personas diran que es la 
tecnologfa. Ahora bien es cierto que la tecnologfa ha aumentado a lo largo de la historia, y en la 
actualidad avanza muy rapidamente -esa es la causa inmediata— y por esto la razon de ser muy 
productivos hoy en dfa. Pero me gusta indagar mas alia, buscar la causa de todo. 

Miren a estos 2 Caballeros muy distinguidos: Tenemos a Kanzi, que domina 200 unidades lexicas, 
una hazana increfble, y a Ed Witten que desato la segunda revolucion de las supercuerdas. Si 
miramos atentamente esto es lo que encontramos: basicamente la misma cosa. Uno es un poco 
mas grande, y puede que tambien tenga algunos trucos mas por la forma en que esta disenado, 
sin embargo, estas diferencias invisibles no pueden ser demasiado complicadas porque solo nos 
separan 250 000 generaciones de nuestro ultimo ancestro comiin. Sabemos que los mecanismos 
complicados tardan mucho tiempo en evolucionar asf que una serie de pequenos cambios nos 
lleva de Kanzi a Witten, de las ramas de arboles rotas a los misiles balfsticos intercontinentales. 

Asf que parece bastante claro que todo lo que hemos logrado, y todo lo que nos importa, depende 
fundamentalmente de algunos cambios relativamente menores sufridos por la mente humana. Y 
el corolario es que, por supuesto, cualquier cambio ulterior que cambiara significativamente el 
fundamento del pensamiento podria potencialmente acarrear enormes consecuencias. 

Algunos de mis colegas piensan que estamos muy cerca de algo que podria causar un cambio 
significativo en ese fundamento y que eso es la maquina superinteligente. La inteligencia 
artificial solfa ser la integracion de comandos en una caja, con programadores humanos que 
elaboraban conocimiento minuciosamente a mano. Se construfan estos sistemas especializados 
y eran bastante utiles para ciertos propositos, pero eran muy fragiles y no se podfan ampliar. 
Basicamente, se consegufa solamente lo que se invertfa en ellos. Pero desde entonces, hubo un 
cambio de paradigma en el campo de la inteligencia artificial. 

Hoy, la accion gira en torno al aprendizaje maquina. Asf que en lugar de producir caracterfsticas 
y representar el conocimiento de manera artesanal, creamos algoritmos que aprenden a menudo 




a partir de datos de percepcion en bruto. Basicamente lo mismo que hace el bebe humano. El 
resultado es inteligencia artificial que no se limita a un solo campo; el mismo sistema puede 
aprender a traducir entre cualquier par de idiomas o aprender a jugar a cualquier juego de 
ordenador en la consola Atari. Ahora, por supuesto, la I.A. (Inteligencia Artificial) esta todavia 
muy lejos de tener el mismo poder y alcance interdisciplinario para aprender y planificar como 
lo hacen los humanos. La corteza cerebral aun esconde algunos trucos algorftmicos que todavia 
no sabemos como simular en las maquinas. 

Asi que la pregunta es, ^cuanto nos falta para poder implementar esos trucos? Hace un par de 
anos hicimos una encuesta entre los expertos de I.A. mas importantes del mundo para ver lo que 
piensan, y una de las preguntas que hicimos fue, "^En que ano crees que habra un 50 % de 
probabilidad en elevar la inteligencia artificial al mismo nivel que la inteligencia humana?" 
Donde hemos definido ese nivel como la capacidad de realizar casi todas las tareas, al menos asi 
como las desarrolla un humano adulto, por lo cual, un nivel real no solo dentro de un area 
limitada. Y la respuesta fue alrededor de 2040 o 2050, dependiendo del grupo de expertos 
consultados. Ahora, puede ocurrir mucho mas tarde o mas temprano, la verdad es que nadie lo 
sabe realmente. 

Lo que si sabemos es que el umbral en el procesamiento de informacion en una infraestructura 
artificial se encuentra mucho mas alia de los limites del tejido biologico. Esto pertenece al campo 
de la fisica. Una neurona biologica manda impulsos quiza a 200 Hertz, 200 veces por segundo. 
mientras que incluso hoy, un transistor opera a la frecuencia de los gigahercios. Las neuronas 
propagan el impulso lentamente a lo largo de los axones, a maximo 100 metros por segundo. 
Pero en las computadoras, las senales pueden viajar a la velocidad de la luz. Tambien hay 
limitaciones de tamano, como el cerebro humano que tiene que encajar dentro del craneo, pero 
una computadora puede ser del tamano de un almacen o aun mas grande. Asi que el potencial de 
la maquina superinteligente permanece latente en la materia, al igual que el poder atomico a lo 
largo de toda la historia que espero pacientemente hasta 1945. De cara a este siglo los cientificos 
pueden aprender a despertar el poder de la inteligencia artificial y creo que podrfamos ser testigos 
de una explosion de inteligencia. 

Cuando la mayoria de la gente piensa en lo inteligente o lo tonto creo que tienen en mente una 
imagen mas o menos asi. En un extremo tenemos al tonto del pueblo, y lejos en el otro extremo, 
tenemos a Ed Witten o a Albert Einstein, o quien sea su guru favorito. Pero creo que desde el 
punto de vista de la inteligencia artificial, lo mas probable es que la imagen real sea la siguiente: 
Se empieza en este punto aqui, en ausencia de inteligencia y luego, despues de muchos, muchos 
anos de trabajo muy arduo, quiza finalmente lleguemos al nivel intelectual de un raton, algo que 
puede navegar entornos desordenados igual que un raton. Y luego, despues de muchos, muchos 
mas anos de trabajo muy arduo, de mucha inversion, tal vez alcancemos el nivel de inteligencia 
de un chimpance. Y luego, despues de mas anos de trabajo muy, muy arduo alcancemos la 
inteligencia artificial del tonto del pueblo. Un poco mas tarde, estaremos mas alia de Ed Witten. 
El tren del progreso no se detiene en la estacion de los Humanos. Es probable que mas bien, pase 
volando. 




Esto tiene profundas consecuencias, especialmente si se trata de poder. Por ejemplo, los 
chimpances son fuertes. Un chimpance es dos veces mas fuerte y en mejor forma ffsica que un 
hombre y, sin embargo, el destino de Kanzi y sus amigos depende mucho mas de lo que hacemos 
los humanos que de lo que ellos mismos hacen. Una vez que hay superinteligencia, el destino de 
la humanidad dependera de lo que haga la superinteligencia. Piensen en esto: la maquina 
inteligente es el ultimo invento que la humanidad jamas tendra que realizar. Las maquinas seran 
entonces mejores inventores que nosotros, y lo haran a escala de tiempo digital lo que significa 
basicamente que aceleraran la cercama al future . Piensen en todas las tecnologfas que tal vez, en 
su opinion, los humanos pueden desarrollar con el paso del tiempo: tratamientos para el 
envejecimiento, la colonizacion del espacio, nanobots autoreplicantes, mentes integradas en las 
computadoras, todo tipo de ciencia-ficcion y sin embargo en consonancia con las leyes de la 
ffsica. Todo esta superinteligencia podrfa desarrollarse y posiblemente con bastante rapidez. 

Ahora, una superinteligencia con tanta madurez tecnologica serfa extremadamente poderosa, y 
con la excepcion de algunos casos serfa capaz de conseguir lo que quiere. Nuestro future se 
determinarfa por las preferencias de esta I.A. Y una buena pregunta es «- cuales son esas 
preferencias? Aquf se vuelve mas complicado. Para avanzar con esto, debemos en primer lugar 
evitar el antropomorfismo. Y esto es ironico porque cada artfculo de prensa sobre el future de la 
I.A. presenta una imagen como esta: Asf que creo que tenemos que pensar de manera mas 
abstracta, no segun escenarios entretenidos de Hollywood. 

Tenemos que pensar en la inteligencia como un proceso de optimizacion un proceso que dirige 
el future hacia un conjunto especifico de configuraciones. Un superinteligencia es un proceso de 
optimizacion realmente potente. Es muy bueno en el uso de recursos disponibles para lograr un 
estado optimo y alcanzar su objetivo. Esto significa que no hay ningun vinculo necesario entre 
ser muy inteligente en este sentido, y tener una meta que para los humanos vale la pena o es 
significativa. 

Por ejemplo, la I.A. podrfa tener el objetivo de hacer sonrefr a los humanos. Cuando la I.A. esta 
en desarrollo, realiza acciones entretenidas para hacer sonrefr a su usuario. Cuando la I.A. se 
vuelve superinteligente, se da cuenta de que hay una manera mas eficaz para lograr su objetivo: 
tomar el control del mundo e introducir electrodos en los musculos faciales de la gente para 
provocar sonrisas constantes y radiantes. Otro ejemplo, supongamos que le damos el objetivo de 
resolver un problema matematico diffcil. Cuando la I.A. se vuelve superinteligente, se da cuenta 
de que la forma mas eficaz para conseguir la solucion a este problema es mediante la 
transformacion del planeta en un computador gigante, para aumentar su capacidad de pensar. Y 
tengan en cuenta que esto da a la I.A. una razon instrumental para hacer cosas que nosotros no 
podemos aprobar. Los seres humanos se convierten en una amenaza, ya que podrfamos evitar 
que el problema se resuelva. 

Por supuesto, las cosas no tienen necesariamente que pasar de esa manera: son ejemplos de 
muestra. Pero lo importante, si crean un proceso de optimizacion muy potente, optimizado para 
lograr el objetivo X, mas vale asegurarse de que la definicion de X incluye todo lo que importa. 
Es una moraleja que tambien se ensena a traves de varios mitos. El rey Midas deseaba convertir 




en oro todo lo que tocaba. Toca a su hija y ella se convierte en oro. Toca su comida, se convierte 
en oro. Es un ejemplo relevante no solo de una metafora de la codicia sino como ilustracion de 
lo que sucede si crean un proceso de optimizacion potente pero le encomiendan objetivos 
incomprensibles o sin claridad. 

Uno puede pensar: "Si una computadora empieza a poner electrodos en la cara de la gente bastarfa 
simplemente con apagarla. En primer lugar, puede que no sea tan sencillo si somos dependientes 
del sistema por ejemplo: ^donde esta el boton para apagar Internet? En segundo lugar, ^por que 
los chimpances no tienen acceso al mismo interruptor de la humanidad, o los neandertales? Sin 
duda razones tendrian. Tenemos un interruptor de apagado, por ejemplo, aquf mismo. (Finge 
estrangulacion) La razon es que somos un adversario inteligente; podemos anticipar amenazas y 
planificar en consecuencia, pero tambien podrfa hacerlo un agente superinteligente, y mucho 
mejor que nosotros. El tema es que no debemos confiar que podemos controlar esta situacion. 

Y podrfamos tratar de hacer nuestro trabajo un poco mas facil digamos, poniendo a la I.A. en 
una caja, en un entorno de software seguro, una simulacion de realidad virtual de la que no pueda 
escapar. Pero, ^como podemos estar seguros de que la I.A. no encontrara un error? Dado que 
incluso los hackers humanos encuentran errores todo el tiempo, yo dirfa que probablemente, no 
podemos estar muy seguros. Asf que desconectamos el cable ethernet para crear un espacio vacfo, 
pero una vez mas, al igual que los hackers humanos, podrian superar estos espacios usando la 
ingenieria social. Ahora mismo, mientras hablo, estoy seguro de que algun empleado, en algun 
lugar ha sido convencido para revelar los detalles de su cuenta por alguien que dice ser del 
departamento de IT. 

Otros escenarios creativos tambien son posibles, por ejemplo si Ud. es la I.A., puede hacer 
cambios en los electrodos de su circuito interno de seguridad para crear ondas de radio y usarlas 
para comunicarse. O tal vez fingir un mal funcionamiento, y cuando los programadores lo abren 
para entender que esta mal, al mirar el codigo fuente, jpum! ya empieza a manipular. O podria 
idear un programa tecnologico realmente ingenioso, y cuando lo implementamos, tener efectos 
secundarios ocultos planeados por la I.A. No debemos confiar en nuestra capacidad para 
mantener un genio superinteligente encerrado en su lampara para siempre. Tarde o temprano, 
saldra. 

Creo que la solucion es averiguar como crear una I.A. superinteligente para que incluso si, o 
cuando se escape, sea todavfa segura para que fundamentalmente este de nuestro lado y comparta 
nuestros valores. No veo como evitar este problema dificil. 

En realidad soy bastante optimista de que este problema pueda ser resuelto. No tendriamos que 
escribir una larga lista de todo lo que nos importa, o, peor aun, codificarla en algun lenguaje 
informatico como C++ o Python, seria una reto imposible. A cambio, crearfamos una I.A. que 
use su inteligencia para aprender lo que valoramos, y su sistema integrado de motivacion seria 
disenado para defender nuestros valores y realizar acciones que se ajusten a ellos. Asf que 
usarfamos su inteligencia tanto como fuera posible para resolver el problema de la atribucion de 
valores. 




Esto puede suceder, y el resultado podrfa ser muy bueno para la humanidad. Pero no sucede 
automatic amente. Las condiciones iniciales para la explosion de la inteligencia necesitan ser 
perfectamente definidas si queremos contar con una detonacion controlada. Los valores de la 
I.A. tienen que coincidir con los nuestros no solo en el ambito familiar, donde podemos 
comprobar facilmente como se comporta, sino tambien en todos los nuevos contextos donde la 
I.A. podrfa encontrarse en un future indefinido. 

Y tambien hay algunas cuestiones esotericas que habrfa que resolver: los detalles exactos de su 
teoria de la decision, como manejar la incertidumbre logica, etc. Asf que los problemas tecnicos 
que hay que resolver para hacer este trabajo parecen muy diffciles -no tan diffciles como crear 
una I.A. superinteligente- pero bastante diffciles. Este es la preocupacion: crear una I.A. 
superinteligente es un reto muy diffcil y crear una que sea segura implica desaffos adicionales. 
El riesgo es si alguien encuentra la manera de superar el primer reto sin resolver el otro desaffo 
de garantizar la maxima seguridad. 

Asf que creo que deberfamos encontrar una solucion al problema del control por adelantado, de 
modo que este disponible para cuando sea necesario. Puede ser que no podamos resolver por 
completo el problema del control de antemano porque tal vez, algunos elementos solo pueden 
ser desarrollados despues de reunir los detalles tecnicos de la LA. en cuestion. Pero cuanto antes 
solucionemos el problema del control, mayores seran las probabilidades de que la transicion a la 
era de las maquinas inteligentes vaya bien. 

Esto me parece algo digno de hacer y puedo imaginar que si las cosas salen bien, la gente en un 
millon de anos discutira nuestro siglo y dira que posiblemente lo unico que hicimos bien y 
merecio la pena fue superar con exito este reto. 



Gracias. 




